Relevant but Incomplete: Referential Dangling as a Paradigm-Level Failure Mode in Hard Prompt Compression
硬提示压缩中引用悬空:一种范式级失败模式
🧭 LLM Prompt 压缩 · 引用完整性 ★ 深度解读
Qinghai University · Tsinghua University · Ant Group Security and Intelligence Laboratory (SIL)
独立评分式硬压缩常割裂依赖对,导致答案片段存在但推理链断裂,多跳QA中广泛发生且可恢复
📌 工作参考价值(4 点)
- 在电商/推荐场景压缩用户行为序列、商品描述或对话历史时,独立评分方法易丢掉关键桥接事实,应引入共指或依存约束,保证“保留的片段能被正确解读”。
- 对 Agent 多步推理的长上下文输入,压缩必须保留推理链上的完整证据,而非仅保留答案相关片段,否则下游模型(哪怕 GPT‑5.5)也无法弥补断裂。
- 提出的自动恢复 pipeline 可低成本复用:训练一个小分类器判断被删句是否为保留句的必需支持,仅需增加 0.01 压缩比就能修复部分断裂,适合作为压缩后处理微调步骤。
- 评估上下文压缩方案时,除压缩率与端到端准确率外,增加内容词覆盖或句间依赖保留指标,可尽早发现引用悬空问题。